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Кто мы такие, и почему я тут? 


550+ 99,99 10 млн+ 5 


ІТ-СПЕЦИАЛИСТОВ ГАРАНТИРОВАННАЯ ТРАНЗАКЦИЙ В ДАТА-ЦЕНТРОВ 
НАДЕЖНОСТЬ ДЕНЬ ПО ВСЕМУ МИРУ 
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Приближать вычислительные 
мощности к конечному пользователю 


Зачем строить 
распределенные 
системы? 


Обеспечивать более высокий 
уровень надежности 


Масштабировать системы и 
распределять нагрузку 


PE 


О чем мы будем говорить? 


О том, как не выстрелить себе в ногу! 
See eG 


(н) НЕН! сасе 
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Про архитектуру и 
синхронизацию данных 


Про сеть и 
проблемы с сетью 


О чем мы будем говорить? 


О том, как не выстрелить себе в ногу! 


Возможные варианты 
синхронизации данных 


Синхронная запись Асинхронная запись 


(н) HighLoad+ 


Гибридные системы 
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85 ms 


10 ms 


Сетевой лаг © 


Евгений Кузовлев (HL) HighLoad+ 


x 


World's Most Advanced 
Features & Un-Seen Benefits 


3k True Multi-master, Active-Active Cluster 3k Transparent to Applications 
Read and write to any node at any time. Required no (or minimal 
changes) to the application. 
3€ Synchronous Replication No slave lag, 
no data is lost at node crash. 3k No Read and Write Splitting 
Needed. 
ЖЕ No Master-Slave Failover Operations 
or Use of VIP. Ж Easy to Use and Deploy 


Ж Hot Standby No downtime during 
failover (since there is no failover). 


Galera cluster 
п р и М е р (9 е p e 6 p $4 H O Й пул и *Описание с сайта https//galeracluster.com/products/ o 


9/32 
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^ 
Транснациональная корпорация. 
Три ЦОД: Лондон, Даллас, 
Сингапур. 

uw E 


Commit time -O.5s. 


Galera cluster 
пример серебряной пули 


(н) mec 


Синхронный клиент. Latency 
при переключении на «резервную» 
ноду -10 sec. 


E 


Перешли к асинхронной 
репликации через 2 месяца. 
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(н) HighLoad+ 


Два ЦОД: Москва и Санкт-Петербург 


MySQL Async 
Master — Master 


Асинхронная репликация 


N 
В рабочее время происходило 
изменение одних и тех же данных B 
обоих ЦОДах 

2 
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Синхронная — плохо. 
Асинхронная — тоже плохо. 


Что делать? 
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Опыт из реальной жизни 


ЖЕ Требование 1 


Максимальная скорость ответа 
Задача 


построить ЗЕ требование 2 


геораспределенный 
биллинг Синхронный контроль баланса 
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Типы финансовых транзакций 
в биллинге 


PAY IN ТРАНЗАКЦИЯ 


a 
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Типы финансовых транзакций 
в биллинге 


PAY ООТТРАНЗАКЦИЯ 
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Опыт из реальной жизни 


ЖЕ Требование 1 


Максимальная скорость ответа 


Это важно только для рау-іп-транзакций 


Задача 
построить ЖЕ требование 2 


геораспределенный 
биллинг Синхронный контроль баланса 


Нужен контроль недопустимости 
отрицательного баланса. 
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Архитектура системы 


Balance’ Balance 
Ball nodel w = ELE = Ball_node1 R 
Ball node2 R Ball node2 үү 
Ball nodes R PR = А Ball nodes R 

Balance’ 

2 

Ball поде1 R | 

Ball_node2 R | 

Bali_noded м | 

is. 
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Архитектура системы. 
В итоге: 


рау-іп-транзакции — рау-оче-транзакции — 


максимальная скорость всегда максимальная скорость чаще всего 


ЖЕ Рау-іп пополняют баланс, поэтому нам 3€ Синхронное обращение к соседним нодам идет 
достаточно ответа одного ЦОД. только в случае нехватки баланса. 
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Евгений Ky. зовлев (HL) High. oadi«« 


Стройте модели синхронизации 
исходя из архитектуры системы. 
Изменяйте архитектуру нату, 
которая позволит масштабироваться 
на несколько ЦОД. 
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Стройте модели синхронизации 
исходя из архитектуры системы. 
Изменяйте архитектуру нату, 
которая позволит масштабироваться 
на несколько ЦОД. 


Но является ли синхронизация 
данных единственной проблемой? 
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Варианты роутинга 


Распределение на Распределение на основе 
основании функции параметров ЦОДов 


(равномерное, по весам ит. д.) (нагрузка, количество коннектов) 


Распределение на основе 
параметров клиента 


(ТР или любые другие параметры) 


у 


Request 1 


Request 2 


EJ 


ÇEL) en 
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Варианты роутинга 


Распределение на Распределение на основе 
основании функции параметров ЦОДов 


(равномерное, по весам ит. д.) (нагрузка, количество коннектов) 


Распределение на основе С привязкой 
параметров клиента пользователей в рамках 
(ТР или любые другие параметры) сессии и без ж 


Проблемы привязки сессий 
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Наши точки входа. 
Пример 


Первичные 


Браузерные POST / ОЕТ-запросы 


и АРІ-интеграции 


Решение 


комплексный роутингна основании идентификатора проекта 
и идентификатора платежа на клиентской стороне. 


( ЦОД = f (project id, payment id) ) 
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Роутинг: выбор ближайшего ЦОД 


€— Евгений Кузовлев (н) НН ад 
Роутинг: выбор ближайшего ЦОД 


mee] — [ вор | 


— Евгений Кузовлев (н) HighLoad+ 
Роутинг: выбор ближайшего ЦОД 
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Becha 2021 


Собственная AS 


cA 
ҺАР co 
= pat 
9 
^ 


nate — 
wpe? aano — 
| РКН TPEBy ПРОЗА voor се 
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Евгений Кузовлев 


Собственная AS и PKH 


4 


S. 


1. Передача маршрутной информации 


E 


| 5. Подключение кНСДИ 


4 


2. Передача информации o сетевой 
инфраструктуре 


" 


4 


5. Передача информации в реестр 
адресно-номерных ресурсов (РАНР) 


4 


4. Передача информации об 
инцидентах 
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Тип синхронизации данных и организация 
процесса зависит от системы и бизнес-кейсов 


Не ищите готовых «серебряных пуль» 


Выводы 


Важен вопрос роутинга пользователей для 
stateful-CucreMbl 


Собственные пулы ТР-адресов — это иной уровень 
контроля над архитектурой и иной уровень проблем 
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Весна 2021 


Спасибо! 


Евгений Кузовлев 


Ф eugene.kuzoviev@gmail.com 
Ф ekuzovilev@it.ecommpay.com 
Ф +7 (905) 798-60-65 

Q Q@rafik jan 


